Weight Tying

释义 Definition

权重绑定 / 权重共享：在神经网络中让两个或多个层（或模块）共用同一组参数（weights），以减少参数量、增强一致性并常带来一定正则化效果。最常见于语言模型中将输入词嵌入（input embedding）与输出层（softmax 前的输出嵌入/权重矩阵）设为同一个矩阵。
（也常被称为 weight sharing / parameter tying；在某些模型如自编码器中还会出现“tied weights”。）

发音 Pronunciation (IPA)

/weɪt ˈtaɪ.ɪŋ/

例句 Examples

Weight tying reduces the number of parameters in the model.
权重绑定会减少模型的参数数量。

In many language models, weight tying makes the input embedding matrix identical to the output projection matrix, which can improve efficiency and sometimes performance.
在许多语言模型中，权重绑定让输入嵌入矩阵与输出投影矩阵相同，从而提升效率，并有时改善效果。

词源 Etymology

Weight 在机器学习语境中指“模型参数/权重”；tying 原意是“系在一起、绑定”。合起来表示把不同位置本应各自学习的参数“绑成同一套”，即共享同一个权重矩阵。

相关词 Related Words

• Parameter Sharing
• Weight Sharing
• Tied Weights
• Embedding
• Softmax
• Projection Matrix
• Regularization
• Language Model

文学与著名作品 Notable Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）：在自编码器等章节中讨论过“tied weights/权重绑定”的相关思想。
• “Using the Output Embedding to Improve Language Models”（Inan, Khosravi, Socher, 2016）：讨论在语言模型中将输出嵌入与输入嵌入关联/共享的做法。
• “Using the Same Embedding Matrix for Input and Output in Neural Language Models”（Press & Wolf, 2017）：系统推广输入/输出嵌入矩阵共享（weight tying）的实践与收益。